Le changement de paradigme : des modèles spécialisés par tâche aux LLM

L'évolution du NLP : de l'IA fragmentée aux modèles de fondation

Définitions

• IA fragmentée: une époque marquée par des architectures neuronales distinctes et spécialisées, conçues pour des tâches individuelles telles que l'étiquetage de séquences ou la classification.
• Modèle de fondation: une architecture transformer unifiée et monolithique qui traite tous les problèmes linguistiques comme une séquence générative de texte à texte $x \rightarrow y$.

Concepts clés

• Consolidation architecturale : Historiquement, le NLP nécessitait des pipelines sur mesure (Bi-LSTM pour le NER, CNN pour l'analyse de sentiment). Les LLM fusionnent ces silos en une seule architecture où les mêmes poids sont utilisés pour chaque tâche.
• L'interface unifiée : Les LLM remplacent les « têtes de sortie » spécialisées (par ex. un Softmax à 3 classes) par une interface en langage naturel. Les entrées et les sorties sont toujours des chaînes de caractères, ce qui permet au modèle d'interpréter l'intention plutôt que le format.
• Transfert de connaissances : Les modèles traditionnels étaient « tabula rasa » pour chaque tâche. Les LLM privilégient la généralisation avant tout, où les tâches spécifiques ne sont que des applications d'une représentation interne du langage robuste et préexistante.

Contexte historique

• Avant 2018 : L'isolation des tâches exigeait d'entraîner des modèles distincts avec différentes fonctions de perte $\mathcal{L}_{task}$.
• Époque moderne : Le paradigme « texte à texte » permet à un seul modèle (par ex. Llama-3) de changer de tâche via un prompt zero-shot ou few-shot.